Университет штата Нью-Йорк в Стони-Бруке анонсировал проект нового НРС-комплекса, который планируется использовать при проведении исследований в таких областях, как инженерия, физика, социальные и биологические науки. Созданием суперкомпьютера займутся специалисты компании HPE.

В основу платформы лягут серверы HPE ProLiant DL360 Gen11 на процессорах Intel Xeon Sapphire Rapids. В том числе будут задействованы узлы на базе Intel Xeon Max. Утверждается, что применение этих решений позволит повысить плотность компоновки оборудования и уменьшить площадь дата-центра — в том числе благодаря возможности развёртывания СЖО.

Помимо НРЕ и Intel, в проекте принимает участие системный интегратор ComnetCo. Эта фирма и раньше сотрудничала с Университетом штата Нью-Йорк в Стони-Бруке; кроме того, она имеет опыт взаимодействия с исследовательскими организациями и государственными заказчиками. Управление НРС-платформой возьмут на себя Институт передовых вычислительных наук (IACS) и Отдел информационных технологий (DoIT) в составе университета.

Отмечается, что Университет штата Нью-Йорк в Стони-Бруке станет первым академическим учреждением в США, развернувшим суперкомпьютерную платформу с процессорами Xeon Max на серверах HPE ProLiant. Доступ к ресурсам платформы планируется предоставлять в масштабах всего кампуса. Сведений о производительности системы на данный момент нет.

Компания ASUS анонсировала на выставке Computex 2023 сервер ESC N8-E11 в форм-факторе 7U, предназначенный для работы с генеративным ИИ и большими языковыми моделями. Новинка построена на аппаратной платформе Intel Xeon Sapphire Rapids с возможностью установки двух процессоров с показателем TDP до 350 Вт.

Система располагает 32 слотами для модулей оперативной памяти DDR5-4800/4400 суммарным объёмом до 8 Тбайт. В общей сложности доступны 10 посадочных мест для SFF-накопителей: спереди находятся восемь отсеков для устройств NVMe, сзади — два слота для изделий NVMe/SATA/SAS.

Сервер способен нести на борту до восьми ускорителей NVIDIA HGX H100. В оснащение входят двухпортовый сетевой контроллер 10GbE (Intel X710-AT2) и выделенный сетевой порт управления. Опционально может быть добавлена карта Broadcom MegaRAID 9560-16i или Broadcom MegaRAID 9540-8i. Доступны по два коннектора для твердотельных модулей M.2 PCIe 5.0 x4 и M.2 PCIe 3.0 x2. Во фронтальной части расположены четыре порта USB 3.2 Gen1, гнёзда RJ-45 для сетевых кабелей, интерфейс D-Sub.

Система ESC N8-E11 имеет габариты 885 × 447 × 306,65 мм и весит 99 кг. Питание может быть организовано по схеме 4 + 2 или 3 + 3 с блоками мощностью 3000 Вт, имеющими сертификат 80 PLUS Titanium. Сервер может использоваться в температурном диапазоне от +10 до +35 °C.

Бренд TYAN тайваньской компании MiTAC, которой не так давно Intel продала бизнес по производству серверов, представил на выставке Computex 2023 серверы Thunder SX TS70-B7136 и TS70A-B7136 в форм-факторе 2U, предназначенные для формирования систем хранения данных. В новинках применена аппаратная платформа Intel Xeon Sapphire Rapids.

Серверы допускают установку двух процессоров в исполнении LGA4677 со значением TDP до 350 Вт. Есть 16 слотов для модулей оперативной памяти DDR5-4800 суммарным объёмом до 2 Тбайт. Доступны пять разъёмов PCIe 5.0 (по два x16 и x8, один х4), один разъём OCP 3.0 и два коннектора M.2 для накопителей NVMe.

Модель Thunder SX TS70-B7136 располагает 12 фронтальными отсеками для накопителей LFF/SFF с интерфейсом SATA или NVMe (четыре штуки) и двумя тыльными отсеками для SFF-устройств SATA/NVMe. Версия Thunder SX TS70A-B7136 получила 18 фронтальных SFF-отсеков в конфигурации 8 × NVMe U.2 и 10 × SATA/SAS, а также два тыльных отсека SFF для SATA-накопителей.

Серверы имеют размеры 700 × 438,5 × 87 мм. В оснащение входят два сетевых порта 10GbE и выделенный сетевой порт управления, контроллер Aspeed AST2600, два разъёма USB 3.2 Gen1, последовательный порт, интерфейс D-Sub. Задействованы два блока питания мощностью 1200 Вт с сертификатом 80 PLUS Platinum. Серверы могут эксплуатироваться при температурах от +10 до +35 °C.

Компания ASUS на выставке Computex 2023 анонсировала сервер ESC8000-E11P в форм-факторе 4U, построенный на платформе Intel Xeon Sapphire Rapids. Допускается установка двух процессоров с показателем TDP до 350 Вт и 32 модулей оперативной памяти DDR5-4800.

Устройство имеет габариты 800 × 440 × 174,5 мм. Предусмотрена возможность использования восьми полноразмерных ускорителей (FHFL) с интерфейсом PCIe 5.0 x16. Во фронтальной части расположены восемь отсеков для LFF-накопителей с поддержкой NVMe/SATA/SAS (в зависимости от выбранного контроллера). Есть коннектор для SSD формата M.2 22110 с интерфейсом PCIe 3.0 x4.

В зависимости от модификации сервер комплектуется картой Broadcom MegaRAID 9560-16i, Broadcom MegaRAID 9540-8i, ASUS PIKE II 3008 HBA или ASUS PIKE II 3108 HW RAID. Заказчики смогут выбирать между версиями с двумя портами 10GbE (RJ45, X710-AT2) или 1GbE (RJ45, I350-AM2). Кроме того, предусмотрен выделенный сетевой порт управления. На фронтальную панель выведены два разъёма USB 3.2 Gen1. Сзади находятся гнёзда RJ45 для сетевых кабелей, последовательный порт и интерфейс D-Sub.

Сервер комплектуется тремя или четырьмя блоками питания мощностью до 3000 Вт сертификатом 80 PLUS Titanium. Спереди находится слот PCIe 5.0 x16 (LPHL), сзади — четыре слота PCIe 5.0 x16 или три слота PCIe 5.0 x16 и разъём OCP3.0 NIC. Диапазон рабочих температур — от +10 до +35 °C.

Компания Gigabyte и её подразделение Giga Computing в ходе выставки Computex 2023 анонсировали сервер G593-SD0, оптимизированный для машинного обучения и задач генеративного ИИ. Новинка, выполненная в форм-факторе 5U, ориентирована на крупные дата-центры.

В сервере применена материнская плата на наборе логики Intel C741. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. В максимальной конфигурации могут быть задействованы восемь ускорителей NVIDIA HGX H100 (SXM5).

Во фронтальной части расположены восемь отсеков для SFF-накопителей NVMe/SATA/SAS; поддерживаются массивы RAID 0/1/10/5. В общей сложности доступны 12 слотов PCIe 5.0 x16 и один слот PCIe 4.0 x16 для низкопрофильных карт расширения. В оснащение входят контроллер Aspeed AST2600, двухпортовый сетевой адаптер 10GbE (Intel X710-AT2), выделенный сетевой порт управления (спереди и сзади), два разъёма USB 3.2 Gen1 и интерфейс D-Sub.

Источник изображения: Gigabyte Technology

Габариты сервера составляют 447 × 222,25 × 945 мм. Применены система воздушного охлаждения и шесть блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.

Корпорация Intel в ходе конференции ISC 2023, как сообщает AnandTech, поделилась информацией о проекте Aurora по созданию суперкомпьютера с производительностью экзафлопсного уровня. Эта система создаётся для Аргоннской национальной лаборатории Министерства энергетики США.

Изначально анонс HPC-комплекса Aurora состоялся ещё в 2015 году с предполагаемым запуском в 2018-м: ожидалось, что машина обеспечит быстродействие на уровне 180 Пфлопс. Однако реализация проекта значительно затянулась, а технические параметры платформы неоднократно менялись. Пока что развёрнуты тестовый кластер Sunspot.

Как теперь сообщается, в конечной конфигурации Aurora объединит 10 624 узла, каждый из которых будет включать два процессора Xeon Max и шесть ускорителей Ponte Vecchio. Таким образом, общее количество CPU будет достигать 21 248, число GPU — 63 744. Быстродействие FP64, как и было заявлено ранее, превысит 2 Эфлопс.

Источник изображений: Intel (via AnandTech)

Каждый процессор оперирует 64 Гбайт памяти HBM, ускоритель — 128 Гбайт. В сумме это даёт соответственно 1,36 Пбайт и 8,16 Пбайт памяти HBM с пиковой пропускной способностью 30,5 Пбайт/с и 208,9 Пбайт/с. В дополнение система сможет использовать 10,9 Пбайт памяти DDR5 с пропускной способностью до 5,95 Пбайт/с. Вместимость подсистемы хранения данных составит 230 Пбайт со скоростью работы до 31 Тбайт/с.

На сегодняшний день Intel поставила более 10 тыс. «лезвий» для Aurora, а это означает, что практически все узлы готовы к окончательному монтажу. Ввод суперкомпьютера в эксплуатацию намечен на текущий год. Для НРС-платформы готовится специализированная научная модель генеративного ИИ — Generative AI for Science, насчитывающая около 1 трлн параметров. Применять Aurora планируется для решения наиболее ресурсоёмких задач в различных областях.

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

• 8 ускорителей NVIDIA H100 Hopper.
• Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
• Процессоры Intel Xeon Sapphire Rapids.
• 2 Тбайт оперативной памяти DDR5-4800.
• 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

Компания Supermicro анонсировала серверы семейства Multi-Processor (MP), предназначенные для решения критически важных задач, для которых требуется большой объём памяти. Это могут быть модели генеративного ИИ, обширные базы данных, корпоративные приложения и пр. В основу представленных систем положены процессоры Intel Xeon Sapphire Rapids. Новинки сертифицированы для SAP HANA и решений Oracle.

В семейство Multi-Processor вошла модель MP SuperServer SYS-681E-TR. Эта стоечная система формата 6U допускает установку восьми чипов в исполнении LGA-4677 с показателем TDP до 350 Вт и воздушным охлаждением. Доступны 128 слотов для модулей оперативной памяти DDR5-4800. Присутствуют 12 разъёмов PCIe 5.0 x16 для полноразмерных ускорителей двойной ширины. Таким образом, система может предложить до 480 ядер, до 32 Тбайт RAM и до 12 ускорителей NVIDIA H100 в одном шасси.

Источник изображений: Supermicro

Во фронтальной части расположены 24 отсека для SFF-накопителей NVMe/SAS-3/SATA-3 с возможностью горячей замены. Кроме того, есть два коннектора для модулей M.2 NVMe. В оснащение входят сетевой адаптер 1GbE (RJ45) и выделенный сетевой порт управления, по два разъёма USB 3.0 и USB 1.1, интерфейсы DisplayPort и D-Sub. За охлаждение отвечают десять 80-мм вентиляторов. Диапазон рабочих температур — от +10 до +35 °C. Применены блоки питания мощностью 2600 Вт.

Кроме того, анонсированы четырёхпроцессорные модели MP SuperServer SYS-241H-TNRTTP и MP SuperServer SYS-241E-TNRTTP типоразмера 2U. Первая поддерживает работу с чипами с TDP до 350 Вт (до 240 ядер суммарно), вторая — до 270 Вт (до 96 ядер суммарно). В обоих случаях имеются 64 слота для модулей DDR5-4800 суммарным объёмом до 16 Тбайт. Есть сетевой порт управления, по два порта USB 2.0 и USB 3.0, интерфейсы DisplayPort и D-Sub, последовательный порт.

2U-платформы предлагают по два слота PCIe 5.0 x16 для FHHL-карт расширения, PCIe 5.0 x16 для FHFL-карт и PCIe 5.0 x8, а также по одному AIOM-слоту PCIe 5.0 x16 и PCIe 5.0 x8. Версия SYS-241H-TNRTTP оборудована 8 фронтальными отсеками для SFF-накопителей NVMe/SAS3/SATA3 и рассчитана на установку четырёх однослотовых ускорителей, а модель SYS-241E-TNRTTP — 24 SFF-накопителей и двух двухслотовых ускорителей. Кроме того, предусмотрены два коннектора M.2 NVMe. Мощность блоков питания — 2700 Вт и 1600 Вт соответственно. Реализована система воздушного охлаждения. Диапазон рабочих температур — от +10 до +35 °C.

Компания Supermicro анонсировала стоечные системы SYS-421GE-TNRT и SYS-821PV-TNR — первые в отрасли коммерческие серверы, оборудованные ускорителями Intel Max (Ponte Vecchio). Аппаратной основой представленных решений служат процессоры Intel Xeon Sapphire Rapids.

Обе новинки рассчитаны на установку двух чипов в исполнении Socket E (LGA-4677). Поддерживается до 8 Тбайт оперативной памяти DDR5-4800 в виде 32 модулей ёмкостью 256 Гбайт каждый. Есть 24 отсека во фронтальной части для SFF-накопителей U.2/SATA/SAS.

Модель SYS-421GE-TNRT допускает установку восьми ускорителей Data Center GPU Max 1100 с 48 Гбайт памяти HBM2 каждый. Кроме того, предусмотрены два коннектора для M.2 NVMe SSD. Система оборудована двумя сетевыми портами 10GbE (Intel X710-AT2), выделенным сетевым портом управления, разъёмом D-Sub и последовательным портом.

Источник изображений: Supermicro

Для CPU может применяться воздушное или жидкостное охлаждение. Сервер наделён восемью вентиляторами повышенной надёжности. Устройство выполнено в форм-факторе 4U. Питание обеспечивают четыре блока мощностью 2700 Вт стандарта 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.

Сервер SYS-821PV-TNR, в свою очередь, может нести на борту до восьми ускорителей Data Center GPU Max 1550 OAM со 128 Гбайт памяти HBM2 каждый. Для CPU и GPU может быть задействовано воздушное или жидкостное охлаждение. Заявленная производительность достигает 6,7 Пфлопс FP16/BF16. Другие характеристики будут раскрыты позднее.

Один из самых масштабных проектов в области высокопроизводительных вычислений (HPC), 2-Эфлопс суперкомпьютер Aurora, который планирует вскоре ввести в строй Аргоннская национальная лаборатория (ANL), получил ещё одну тестовую платформу. Новый мини-кластер Sunspot, включающий в себя две стойки будущей машины, является прекрасным полигоном для отладки ПО.

Aurora будет состоять из более чем 10 тыс. вычислительных узлов, а Sunspot включает в себя 128 узлов, каждый из которых, впрочем, имеет весьма серьёзную конфигурацию. На борту такой узел несёт пару процессоров Intel Xeon Max (Sapphire Rapids + 64 Гбайт HBM2e), а также шесть ускорителей Intel Max Series (Ponte Vecchio). Sunspot использует в качестве интерконнекта фирменную сеть HPE/Cray Slingshot последнего поколения.

Источник: Argonne Leadership Computing Facility

Как считает глава Argonne Leadership Computing Facility (ALCF), полная идентичность архитектур позволит разработчикам оптимизировать код для максимального использования всех возможностей Sapphire Rapids и Ponte Vecchio. Ранее тестовыми платформами служили кластеры Iris, Arcticus, Florentia самой Аргоннской лаборатории, а также Borealis, принадлежащий Intel. Система Sunspot была запущена ещё в декабре, с тех пор к ней получили доступ более 180 исследователей из 20 команд разработчиков в рамках программ Aurora Early Science Program (ESP) и Exascale Computing Project (ECP).

Процесс сборки Aurora идёт полным ходом

Отмечается, что достигнутые на «железе» Intel Max результаты внушают оптимизм. В ряде научно-технических задач прирост производительности от перехода на ускорители Intel составил от 20 до 70 %, а в разрабатываемом аргоннцами Hardware/Hybrid Accelerated Cosmology Code выигрыш достиг 2,6 раз. Ожидается, что дальнейшая более тонкая оптимизация позволит улучшить результаты. Интересно, что даже после запуска Aurora система Sunspot демонтирована не будет, а станет, как и все предыдущие тестовые платформы ALCF, общедоступным «полигоном для новичков».